Emotions play an important role in interpersonal interactions and social conflict, yet their function in the development of controversy and disagreement in online conversations has not been explored. To address this gap, we study controversy on Reddit, a popular network of online discussion forums. We collect discussions from a wide variety of topical forums and use emotion detection to recognize a range of emotions from text, including anger, fear, joy, admiration, etc. Our study has three main findings. First, controversial comments express more anger and less admiration, joy and optimism than non-controversial comments. Second, controversial comments affect emotions of downstream comments in a discussion, usually resulting in long-term increase in anger and a decrease in positive emotions, although the magnitude and direction of emotional change depends on the forum. Finally, we show that emotions help better predict which comments will become controversial. Understanding emotional dynamics of online discussions can help communities to better manage conversations.

变压器注意机制中的设计选择，包括弱电感偏置和二次计算复杂性，限制了其用于建模长序列的应用。在本文中，我们介绍了一个简单的，理论上的，单头的门控注意机制，配备了（指数）移动平均线，以将局部依赖性的电感偏置纳入位置 - 敏锐的注意机制中。我们进一步提出了一个具有线性时间和空间复杂性的大型变体，但通过将整个序列分为固定长度的多个块，仅产生最小的质量损失。对广泛的序列建模基准测试的广泛实验，包括远距离竞技场，神经机器翻译，自动回归语言建模以及图像和语音分类，表明，巨人比其他序列模型取得了重大改进，包括变种物的变体和最新的变体模型状态空间模型。

本文介绍了探索性的工作，介绍了以及在何种程度上对酷儿和跨性别者的偏见是用大型语言模型（LLM）（例如伯特）编码的。我们还提出了一种减少下游任务中这些偏见的方法：对由和/或关于酷儿人编写的数据进行填充。为了衡量抗Quase偏见，我们引入了一个新的基准数据集Winoqueer，以其他偏置检测基准测试，但要解决同性恐惧和跨性别偏见。我们发现伯特表现出明显的同性恋偏见，但是这种偏见可以通过finetuning bert对LGBTQ+社区成员撰写的自然语言语料库进行缓解。

新闻文章修订历史为新闻文章中的叙事和事实演变提供了线索。为了促进对这一进化的分析，我们介绍了新闻修订历史记录的第一个公开可用的数据集。我们的数据集是大规模和多语言的；它包含120万篇文章，其中有460万款来自三个国家 /地区的英语和法语报纸来源，涵盖了15年的报道（2006 - 2021年）。我们定义文章级的编辑操作：加法，删除，编辑和重构，并开发高准确性提取算法以识别这些动作。为了强调许多编辑操作的事实性质，我们进行的分析表明，添加和删除的句子更可能包含更新事件，主要内容和报价，而不是不变的句子。最后，为了探索编辑操作是否可以预测，我们介绍了三个旨在预测版本更新过程中执行的动作的新任务。我们表明，这些任务对于人类专业而言是可能的，但对于大型NLP模型而言，这些任务具有挑战性。我们希望这可以刺激叙事框架的研究，并为追逐突发新闻的记者提供预测工具。

Current Machine Translation (MT) models still struggle with more challenging input, such as noisy data and tail-end words and phrases. Several works have addressed this robustness issue by identifying specific categories of noise and variation then tuning models to perform better on them. An important yet under-studied category involves minor variations in nuance (non-typos) that preserve meaning w.r.t. the target language. We introduce and formalize this category as Natural Asemantic Variation (NAV) and investigate it in the context of MT robustness. We find that existing MT models fail when presented with NAV data, but we demonstrate strategies to improve performance on NAV by fine-tuning them with human-generated variations. We also show that NAV robustness can be transferred across languages and find that synthetic perturbations can achieve some but not all of the benefits of organic NAV data.

A recent family of techniques, dubbed lightweight fine-tuning methods, facilitates parameter-efficient transfer learning by updating only a small set of additional parameters while keeping the parameters of the pretrained language model frozen. While proven to be an effective method, there are no existing studies on if and how such knowledge of the downstream fine-tuning approach should affect the pretraining stage. In this work, we show that taking the ultimate choice of fine-tuning method into consideration boosts the performance of parameter-efficient fine-tuning. By relying on optimization-based meta-learning using MAML with certain modifications for our distinct purpose, we prime the pretrained model specifically for parameter-efficient fine-tuning, resulting in gains of up to 1.7 points on cross-lingual NER fine-tuning. Our ablation settings and analyses further reveal that the tweaks we introduce in MAML are crucial for the attained gains.

最近延伸预留下芬特的神经模型的神经模型继续实现新的最新导致对话状态跟踪（DST）基准的联合目标准确性（JGA）。但是，我们调查了他们的稳健性，因为它们在JGA中显示了急剧下降，以便与现实扰动的话语或对话框流动的对话。通过清单（Ribeiro等，2020），我们设计了一个名为CheckDST的度量集合，促进DST模型的比较，通过测试具有增强测试集的众所周知的弱点来促进革命性的全面尺寸。我们使用CheckDST评估最近的DST模型，并认为模型应该更全面地评估，而不是在JGA上追求最先进的JGA，因为更高的JGA不保证更好的整体稳健性。我们发现基于跨度的分类模型是有弹性的，不合适的命名实体，但对语言品种不强大，而那些基于自回归语言模型的人概括为语言变化，但往往会记住命名实体并往往是幻觉。由于它们各自的弱点，两种方法都不适合现实世界部署。我们认为CheckDst是未来研究的一个有用指南，用于开发面向任务的对话模型，体现了各种方法的优势。

已经开发出大量深度神经网络的技术来解决面部呈现攻击检测（焊盘）的具有挑战性问题。然而，这种技术的重点是在分类准确性方面提高了PAD性能，而对看不见的攻击和环境条件的鲁棒性，则对垫预测的解释性有所关注。在本文中，我们通过自然语言解决解释垫预测的问题。我们的方法将深层层模型的特征表示传递给语言模型，以生成描述垫预测后面的推理的文本。由于我们研究中的注释数据量有限，我们将轻量级LSTM网络应用为我们的自然语言生成模型。我们调查生成的解释的质量如何受到不同损失函数的影响，包括常用的字样跨熵损失，句子歧视性损失和句子语义损失。我们使用由1,105个BONA-FIDE和924个演示攻击样本组成的数据集的面部图像来执行我们的实验。我们的定量和定性结果表明了我们的模型通过文本生成适当的焊盘解释以及句子损失的力量。据我们所知，这是第一次引入联合生物识别-NLP任务。我们的数据集可以通过我们的GitHub页面获取。

变压器注意机制的二次计算和内存复杂性限制了对长序列建模的可扩展性。在本文中，我们提出了Luna，一种线性统一嵌套关注机制，使Softmax注意力具有两个嵌套线性关注功能，仅产生线性（与二次）的时间和空间复杂度相反。具体地，通过第一注意功能，LUNA将输入序列包装成固定长度的序列。然后，使用第二关注功能未包装包装序列。与更传统的关注机制相比，LUNA引入具有固定长度的附加序列作为输入和额外的相应输出，允许LUNA线性地进行关注操作，同时还存储足够的上下文信息。我们对三个序列建模任务的基准进行了广泛的评估：长上下文序列建模，神经机平移和大型预磨损的屏蔽语言建模。竞争甚至更好的实验结果表明了Luna的有效性和效率与各种各样相比

在这项工作中，我们创建了一个Web应用程序，以突出训练法律文本中的NLP模型的输出。我们的系统主要是在新闻工作者和法律口译员的基础上建立的，我们专注于使用美国人口普查人口数量分配资源和组织政府的州级法律。我们的系统公开了我们收集6,000个州级法律的语料库，这些法律与美国人口普查有关，使用我们构建的25份刮刀来抓取我们发布的州法律网站。我们还构建了一个新颖的灵活注释框架，该框架可以在任意输入文本文档上处理跨度标记和关系标记，并将其简单地嵌入任何网页中。该框架使记者和研究人员可以通过纠正和标记新数据来添加我们的注释数据库。